DeepLabCut: markerless pose estimation of user-defined body parts with deep learning | nature neuroscience (2018)
Alexander Mathis, Pranav Mamidanna, Kevin M. Cury, Taiga Abe, Venkatesh N. Murthy, Mackenzie Weygandt Mathis & Matthias Bethge hl.icon
動物の行動を調べるうえで、映像による記録から動物がとる様々な動きを検出する技術は重要
従来は例えば動物の体の部位にマーカーを付けて、そのマーカーの動きをトラッキングする手法があった
これは動物の自然な状態とは異なる侵襲的な手法であるという問題点がある
そこで本研究では動物に何もマーカーを与えない非侵襲的な方法を提案した。
DeepLabCutは大きく2つのステップで動いている
事前に汎用性の高いモデルを作っておいて、対象に合わせた追加学習でその精度を上げて使う
Naa_tsure.icon事前学習にはImageNetというデータセットが使われている Naa_tsure.icon検出したい部位は人間が指定してあげて、CNNがその部位の特徴を学習する感じ
Naa_tsure.iconたった200frameほどの学習データだけで、人間の手動検出に近い精度を叩き出せる
このステップは指定した体の部位ごとに出力が行われ、指定した位置がどこにありそうかを出力する
Naa_tsure.icon逆に1ステップ目は全て共通で行われる
Naa_tsure.icon面白いことに1ステップ目で使うデータから注目部位以外の体の部位のデータを除くと、
注目部位のデータの量は変化していないのに、2ステップにおける信頼度が低下する。
https://www.youtube.com/watch?v=GFLGUO0wDIw
hl.icon